# MechanicalSoup不仅仅像一般的爬虫包一样可以从网站上爬取数据，而且可以通过简单的命令来自动化实现与网站交互的python库。它的底层使用的是BeautifulSoup（也就是bs4）和requests库，因此如果各位读者熟悉以上两个库，那么使用起来会更加的顺手。
# 因此，如果在开发过程中需要不断的与网站进行交互，比如点击按钮或者是填写表单，那么MechanicalSoup将会派上很大的用场


# 先打开虎扑社区首页，可以看到有几个帖子是红色标题，现在想把这几个帖子的标题爬下来并保存
import mechanicalsoup

browser = mechanicalsoup.StatefulBrowser()
browser.open('https://bbs.hupu.com/')
result = browser.get_current_page().find('div', class_="list")
result = list(result.find('ul'))
bbs_list = []
for i in range(len(result)):
    if result[i] != '\n':
        bbs_list.append(result[i])
bbs_top = []
for i in bbs_list:
    bbs_top.append(i.find('span', class_="red"))
hot_title = []
for i in bbs_top:

    if i and i.text:
        hot_title.append(i.text)
print(hot_title)
